Quadruped robots are currently used in industrial robotics as mechanical aid to automate several routine tasks. However, presently, the usage of such a robot in a domestic setting is still very much a part of the research. This paper discusses the understanding and virtual simulation of such a robot capable of detecting and understanding human emotions, generating its gait, and responding via sounds and expression on a screen. To this end, we use a combination of reinforcement learning and software engineering concepts to simulate a quadruped robot that can understand emotions, navigate through various terrains and detect sound sources, and respond to emotions using audio-visual feedback. This paper aims to establish the framework of simulating a quadruped robot that is emotionally intelligent and can primarily respond to audio-visual stimuli using motor or audio response. The emotion detection from the speech was not as performant as ERANNs or Zeta Policy learning, still managing an accuracy of 63.5%. The video emotion detection system produced results that are almost at par with the state of the art, with an accuracy of 99.66%. Due to its "on-policy" learning process, the PPO algorithm was extremely rapid to learn, allowing the simulated dog to demonstrate a remarkably seamless gait across the different cadences and variations. This enabled the quadruped robot to respond to generated stimuli, allowing us to conclude that it functions as predicted and satisfies the aim of this work.
translated by 谷歌翻译
Robust forecasting of the future anatomical changes inflicted by an ongoing disease is an extremely challenging task that is out of grasp even for experienced healthcare professionals. Such a capability, however, is of great importance since it can improve patient management by providing information on the speed of disease progression already at the admission stage, or it can enrich the clinical trials with fast progressors and avoid the need for control arms by the means of digital twins. In this work, we develop a deep learning method that models the evolution of age-related disease by processing a single medical scan and providing a segmentation of the target anatomy at a requested future point in time. Our method represents a time-invariant physical process and solves a large-scale problem of modeling temporal pixel-level changes utilizing NeuralODEs. In addition, we demonstrate the approaches to incorporate the prior domain-specific constraints into our method and define temporal Dice loss for learning temporal objectives. To evaluate the applicability of our approach across different age-related diseases and imaging modalities, we developed and tested the proposed method on the datasets with 967 retinal OCT volumes of 100 patients with Geographic Atrophy, and 2823 brain MRI volumes of 633 patients with Alzheimer's Disease. For Geographic Atrophy, the proposed method outperformed the related baseline models in the atrophy growth prediction. For Alzheimer's Disease, the proposed method demonstrated remarkable performance in predicting the brain ventricle changes induced by the disease, achieving the state-of-the-art result on TADPOLE challenge.
translated by 谷歌翻译
室内运动计划的重点是解决通过混乱环境导航代理的问题。迄今为止,在该领域已经完成了很多工作,但是这些方法通常无法找到计算廉价的在线路径计划和路径最佳之间的最佳平衡。除此之外,这些作品通常证明是单一启动单目标世界的最佳性。为了应对这些挑战,我们为在未知室内环境中进行导航的多个路径路径计划者和控制器堆栈,在该环境中,路点将目标与机器人必须在达到目标之前必须穿越的中介点一起。我们的方法利用全球规划师(在任何瞬间找到下一个最佳航路点),本地规划师(计划通往特定航路点的路径)以及自适应模型预测性控制策略(用于强大的系统控制和更快的操作) 。我们在一组随机生成的障碍图,中间航路点和起始目标对上评估了算法,结果表明计算成本显着降低,具有高度准确性和可靠的控制。
translated by 谷歌翻译
该报告涵盖了我们对Chaplot等人的“使用变压器的可区分空间计划”的复制工作。。在本文中,考虑了以可不同方式进行空间路径计划的问题。他们表明,他们提出的使用空间规划变压器的方法优于先前数据驱动的模型,并利用可不同的结构来学习映射而无需同时地面真相图。我们通过重现其实验并在新数据上测试其方法来验证这些主张。我们还通过地图提高了障碍物复杂性,研究了计划准确性的稳定性。努力调查和验证映射模块的学习的努力是由于缺乏计算资源和无法到达的作者而导致的失败。
translated by 谷歌翻译
以下论文是“社会NCE:对社会意识的运动表示的对比度学习”的可重复性报告。\ footNote {\ href {https://github.com/vita-epfl/social-nce} {https://github.com/vita-epfl/social-nce}}}。我们试图验证作者声称的结果,并在Pytorch Lightning中重新成熟。
translated by 谷歌翻译
这项工作描述了使用配备有单个向上的鱼眼相机和背光的移动校准机器人,该机器人的自动注册(约40个)固定网络(约40个)的固定,天花板安装的环境相机(约800平方米)的自动注册(约800平方米) Aruco标记以容易检测。 Fisheye摄像头用于进行视觉进程(VO),Aruco标记有助于在环境摄像机中轻松检测校准机器人。此外,鱼眼摄像机还能够检测到环境相机。这个双向双向检测限制了环境摄像机的姿势以解决优化问题。这种方法可用于自动注册用于监视,自动停车或机器人应用的大型多摄像机系统。这种基于VO的多机登记方法是使用现实世界实验进行了广泛验证的,并且还与使用LIDAR的类似方法进行了比较,该方法使用LIDAR(一种昂贵,更重,更重,饥饿的传感器)。
translated by 谷歌翻译
最近的对比学习方法在低标签制度中实现了最新的。但是,培训需要大批量和重型增强,以创建图像的多个视图。使用非对抗性方法,负面因素被隐式地纳入损失中,允许不同的图像和模态作为对。尽管医学成像中的元信息(即年龄,性别)很丰富,但注释又嘈杂,容易出现阶级失衡。在这项工作中,我们使用纵向光学相干断层扫描(OCT)数据集利用了已经存在的时间信息(来自患者的不同访问),但使用时间知情的非对抗性损失(TINC),而没有增加复杂性和对负面对的需求。此外,我们的新颖配对方案可以避免重大增强,并将时间信息隐含地纳入对。最后,这些从训练中学到的表示在预测时间信息对于下游任务至关重要的情况下更为成功。更具体地说,我们的模型优于现有模型,可以预测从中期与年龄相关的黄斑变性(AMD)到晚期湿AMD阶段的转化风险。
translated by 谷歌翻译
6-DOF的视觉定位系统利用植根于3D几何形状的原则方法来对图像进行准确的摄像头姿势估计图。当前的技术使用层次管道并学到了2D功能提取器来提高可扩展性并提高性能。但是,尽管典型召回@0.25m类型的指标获得了,但由于其“最差”性能领域,这些系统仍然对实际应用(如自动驾驶汽车)的实用性有限 - 在某种程度上提供不足的召回率的位置。在这里,我们研究了使用“位置特定配置”的实用性,其中将地图分割为多个位置,每个位置都有自己的配置,用于调节姿势估计步骤,在这种情况下,在多摄像机系统中选择摄像机。在福特AV基准数据集上,我们证明了与使用现成管道相比,我们证明了最大的最差案例定位性能 - 最小化数据集的百分比,该数据集的百分比降低了一定的误差耐受性,并提高了整体定位性能。我们提出的方法尤其适用于自动驾驶汽车部署的众群体模型,在该模型中,AV机队定期穿越已知的路线。
translated by 谷歌翻译
我们为路边摄像机提出了一个针对交通现场的新颖务实框架。提出的框架涵盖了基础架构辅助自动驾驶的路边知觉管道的全堆,包括对象检测,对象定位,对象跟踪和多相机信息融合。与以前的基于视觉的感知框架依赖于深度偏移或训练中的3D注释不同,我们采用模块化解耦设计并引入基于具有里程碑意义的3D本地化方法,在此方法可以很好地解耦,以便可以轻松地训练该模型仅基于2D注释。所提出的框架适用于带有针孔或鱼眼镜的光相机或热摄像机。我们的框架部署在位于Ellsworth Rd的两车道回旋处。和美国密歇根州安阿伯市的State St.,提供7x24实时交通流量监测和高精度车辆轨迹提取。整个系统在低功率边缘计算设备上有效地运行,全部端到端延迟小于20ms。
translated by 谷歌翻译
工程设计传统上是手工执行的:专家根据过去的经验做出设计建议,然后对这些建议进行测试以符合某些目标规格。使用所谓的纪律模型首先通过计算机模拟进行合规性测试。这样的模型可以通过有限元分析,多机系统方法等实现。然后,考虑通过该模拟的设计进行物理原型。总体过程可能需要几个月的时间,并且在实践中是一笔巨大的成本。我们已经开发了一个贝叶斯优化系统,用于通过直接优化针对设计参数的目标规范来部分自动化此过程。所提出的方法是计算不需要的高维非线性函数的广义倒数的一般框架,例如梯度信息,这通常是从纪律模型中获得的。我们此外,基于(i)收敛到最佳满足所有指定设计标准的解决方案,或(ii)收敛到最小值解决方案,我们开发了两层收敛标准。我们证明了使用最先进的商业纪律模型的行业设置动机的车辆底盘设计问题所提出的方法。我们表明,所提出的方法是一般,可扩展和高效的,并且可以根据流行的贝叶斯优化软件包中的现有概念和子例程直接实现新颖的收敛标准。
translated by 谷歌翻译